Từ miền Bắc, hai Hòa thượng là Thích Tâm Giác và Thích Thanh Kiểm vào miền Nam truyền bá đạo Phật, và sau đó đã cho xây dựng chùa Vĩnh Nghiêm. Họ lấy nguyên mẫu thiết kế từ một ngôi chùa gỗ cùng tên ở xã Đức La, tổng Trí Yên, phủ Lạng Giang, tỉnh [[Bắc Giang] Việt Nam]; kiến lập từ đời vua Lý Thái Tổ, vốn là trung tâm truyền bá Phật giáo của Thiền phái Trúc Lâm.

Người vẽ kiểu cho công trình là kiến trúc sư Nguyễn Bá Lăng, có sự cộng tác của các ông Lê Tấn Chuyên và Cổ Văn Hậu…

Chùa được khởi công năm 1964 tại khu đất thấp nằm bên rạch Thị Nghè, và người ta phải chuyển khoảng 40.000 m³ đất từ xa lộ Biên Hoà về san lấp mặt bằng. Kinh phí xây dựng chùa khoảng 98 triệu đồng tiền lúc bấy giờ, với phần khuôn viên được cho là chính quyền VNCH cấp. Năm 1971, chùa Vĩnh Nghiêm cơ bản hoàn thành với các hạng mục, gồm tòa nhà trung tâm (tầng trên có ngôi Phật điện), Bảo tháp Quán Thế Âm, cơ sở dành cho hoạt động xã hội. Về sau, chùa lần lượt xây thêm các công trình khác, như Bảo tháp Xá Lợi Cộng đồng, Tháp đá Vĩnh Nghiêm, Phương trượng đường, khách đường, v.v...

Riêng quả Đại hồng chung có tên là "Chuông Hòa bình" thì do chùa Entsu-in (Viên Thông viện), huyện Fukushima thuộc Giáo hội Phật giáo Nhật Bản cung tiến.[1]